Tổng thống Tyler đề cử Spencer là một pháp sư của Tòa án tối cao hai lần, lần đầu tiên trong tháng 1 năm 1844 để thế chỗ của Smith Thompson và một lần nữa vào tháng sáu cùng năm để thế chỗ Henry Baldwin, nhưng Thượng viện không xác nhận anh ấy cả hai lần. Là một trong số ít người miền Bắc trong một chính quyền thống trị bởi quyền lợi miền Nam, Spencer thấy nó ngày càng khó khăn để phục vụ trong nội các của ông và từ chức Bộ trưởng Ngân khố vào ngày mùng 2 tháng 5 năm 1844. Ông trở lại Albany và qua đời tại Albany vào ngày 17 tháng 5 năm 1855 ở tuổi 67. Ông được chôn cất tại Nghĩa trang nông thôn Albany bên cạnh vợ ông, Elizabeth.